Ir devagar é o mesmo que andar devagar. Não exige que o assunto, que neste caso não existe como um infinitivo, este movimento. Significado é extensível ao pensamento ou diálogo e, portanto, não inclua o conceito de movimento.